Παλινδρόμηση LOESS

Εισαγωγή

Σε αυτό το κεφάλαιο, εξετάζουμε τη μέθοδο LOESS (Locally Estimated Scatterplot Smoothing), μια μη παραμετρική προσέγγιση για την προσαρμογή μιας ομαλής καμπύλης σε ένα διάγραμμα διασποράς. Σε αντίθεση με την παραδοσιακή γραμμική παλινδρόμηση, η οποία εκτιμά μία ενιαία καθολική γραμμική σχέση για όλες τις παρατηρήσεις, το LOESS εκτελεί τοπικές γραμμικές παλινδρομήσεις γύρω από κάθε σημείο δεδομένων. Αυτό επιτρέπει στο μοντέλο να αποτυπώνει πιο σύνθετα, μη γραμμικά μοτίβα στα δεδομένα. Ωστόσο, μια βασική κατανόηση της γραμμικής παλινδρόμησης είναι χρήσιμη, καθώς το LOESS βασίζεται στις αρχές της, ενσωματώνοντας τεχνικές τοπικής προσαρμογής (local fitting).

Αρχική προετοιμασία

Ξεκινάμε φορτώνοντας τα packages dplyr και ggplot2 (και τα δύο μέρος του tidyverse), μαζί με το ενσωματωμένο σύνολο δεδομένων mtcars, το οποίο είναι διαθέσιμο με την εγκατάσταση της R:

# Βιβλιοθήκες
library(dplyr)
library(ggplot2)

# Φόρτωση του mtcars
data(mtcars)

Το σύνολο δεδομένων mtcars αποτελείται από 32 παρατηρήσεις και 11 μεταβλητές και παρέχει πληροφορίες για διάφορα χαρακτηριστικά των αυτοκινήτων, μεταξύ των οποίων η κατανάλωση καυσίμου. Για λόγους επίδειξης, θα εστιάσουμε σε δύο μεταβλητές: wt (βάρος του αυτοκινήτου) και mpg (μίλια ανά γαλόνι). Για να διευκολύνουμε την ανάλυση, δημιουργούμε ένα νέο σύνολο δεδομένων που περιέχει μόνο αυτές τις μεταβλητές και το ονομάζουμε data, για λόγους σαφήνειας:

# Επιλογή μεταβλητών και δημιουργία νέου object
data <- mtcars %>%
  select(Weight = wt,
         Miles_per_Gallon = mpg)

Το παρακάτω διάγραμμα διασποράς απεικονίζει τη σχέση μεταξύ του βάρους του οχήματος και της απόδοσης καυσίμου:

# Ορισμός θέματος
theme_set(theme_light())

# Διάγραμμα διασποράς των Weight και Miles_per_Gallon
data %>%
  ggplot(aes(x = Weight,
             y = Miles_per_Gallon)) +
  geom_point(color = "blue") +
  expand_limits(x = 0, y = 0) +
  labs(x = "Weight",
       y = "Miles per Gallon")

Εικόνα 13.1: Διάγραμμα διασποράς που απεικονίζει τη σχέση μεταξύ του βάρους του αυτοκινήτου και των μιλίων ανά γαλόνι.

Είναι εμφανής μια αρνητική γραμμική τάση: καθώς αυξάνεται το βάρος του οχήματος, τα μίλια ανά γαλόνι τείνουν να μειώνονται.

Γραμμική παλινδρόμηση με το OLS

Η συμβατική μέθοδος για την εκτίμηση γραμμικών σχέσεων είναι η μέθοδος των ελαχίστων τετραγώνων (OLS) (βλ. Κεφάλαιο Συσχέτιση και απλή γραμμική παλινδρόμηση). Θυμίζουμε ότι ο στόχος του OLS είναι να ελαχιστοποιήσει το άθροισμα των τετραγώνων των καταλοίπων, εντοπίζοντας έτσι το γραμμικό μοντέλο με την καλύτερη προσαρμογή. Το OLS προσαρμόζει επομένως μία ευθεία που προσεγγίζει όλα τα σημεία δεδομένων. Μπορούμε να οπτικοποιήσουμε αυτή την προσαρμογή με τη geom_smooth() και το όρισμα method = "lm". Ορίζουμε επίσης se = FALSE για να μην εμφανιστεί το διάστημα εμπιστοσύνης:

# Διάγραμμα διασποράς με απλή γραμμική παλινδρόμηση
data %>%
  ggplot(aes(x = Weight,
             y = Miles_per_Gallon)) +
  geom_point(color = "blue") +
  geom_smooth(method = "lm",
              se = FALSE,
              color = "black") +
  expand_limits(x = 0, y = 0) +
  labs(x = "Weight",
       y = "Miles per Gallon")

Εικόνα 13.2: Διάγραμμα διασποράς με ευθεία παλινδρόμησης OLS.

Για να προσαρμόσουμε ρητά το μοντέλο, χρησιμοποιούμε τη συνάρτηση lm():

# Δημιουργία μοντέλου γραμμικής παλινδρόμησης
lm_model <- lm(Miles_per_Gallon ~ Weight, data = data)

Αν και η οπτική προσαρμογή φαίνεται λογική, μπορούμε να αξιολογήσουμε την προσαρμογή του μοντέλου με συνοπτικά στατιστικά μέτρα. Το R-squared, για παράδειγμα, ποσοτικοποιεί το ποσοστό του variance του Miles_per_Gallon που ερμηνεύεται από το Weight:

# Έλεγχος των συνοπτικών αποτελεσμάτων
lm_model %>% summary()

Call:
lm(formula = Miles_per_Gallon ~ Weight, data = data)

Residuals:
    Min      1Q  Median      3Q     Max 
-4.5432 -2.3647 -0.1252  1.4096  6.8727 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  37.2851     1.8776  19.858  < 2e-16 ***
Weight       -5.3445     0.5591  -9.559 1.29e-10 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 3.046 on 30 degrees of freedom
Multiple R-squared:  0.7528,    Adjusted R-squared:  0.7446 
F-statistic: 91.38 on 1 and 30 DF,  p-value: 1.294e-10

Το R-squared που προκύπτει, περίπου 0.75, δείχνει ότι περίπου το 75% της μεταβλητότητας στην απόδοση καυσίμου ερμηνεύεται από το βάρος του οχήματος.

Φυσικά, μπορούμε να χρησιμοποιήσουμε το OLS για να αποτυπώσουμε μια μη γραμμική σχέση με πολυωνυμικούς όρους, δηλαδή να συμπεριλάβουμε την ίδια ανεξάρτητη μεταβλητή υψωμένη στη δύναμη 2 ή σε μεγαλύτερη.

Το παρακάτω διάγραμμα δείχνει την καμπύλη παλινδρόμησης όταν προσθέτουμε έναν πολυωνυμικό όρο 2ου βαθμού. Ο κώδικας είναι σχεδόν ίδιος με τον προηγούμενο· απλώς προσαρμόσαμε το όρισμα formula:

# Διάγραμμα διασποράς με καμπύλη γραμμικής παλινδρόμησης με πολυωνυμικούς όρους
data %>%
  ggplot(aes(x = Weight,
             y = Miles_per_Gallon)) +
  geom_point(color = "blue") +
  geom_smooth(method = "lm",
              formula = y ~ poly(x, 2),
              se = FALSE,
              color = "black") +
  expand_limits(x = 0, y = 0) +
  labs(x = "Weight",
       y = "Miles per Gallon")

Εικόνα 13.3: Διάγραμμα διασποράς με καμπύλη παλινδρόμησης OLS με πολυωνυμικούς όρους 2ου βαθμού.

Αυτή η καμπύλη είναι πιο ευέλικτη και φαίνεται να προσαρμόζεται καλύτερα στα δεδομένα. Μπορούμε να το επιβεβαιώσουμε ελέγχοντας το R-squared του νέου πολυωνυμικού μοντέλου:

# Δημιουργία μοντέλου γραμμικής παλινδρόμησης και έλεγχος των συνοπτικών αποτελεσμάτων
lm(Miles_per_Gallon ~ poly(Weight, 2), data = data) %>% summary()

Call:
lm(formula = Miles_per_Gallon ~ poly(Weight, 2), data = data)

Residuals:
   Min     1Q Median     3Q    Max 
-3.483 -1.998 -0.773  1.462  6.238 

Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
(Intercept)       20.0906     0.4686  42.877  < 2e-16 ***
poly(Weight, 2)1 -29.1157     2.6506 -10.985 7.52e-12 ***
poly(Weight, 2)2   8.6358     2.6506   3.258  0.00286 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 2.651 on 29 degrees of freedom
Multiple R-squared:  0.8191,    Adjusted R-squared:  0.8066 
F-statistic: 65.64 on 2 and 29 DF,  p-value: 1.715e-11

Το R-squared αυξήθηκε σε περίπου 82%, γεγονός που υποδηλώνει καλύτερη προσαρμογή. Θεωρητικά, όσο περισσότερους πολυωνυμικούς όρους προσθέτουμε, τόσο πιο ευέλικτη γίνεται η καθολική μας καμπύλη. Για παράδειγμα, με ένα πολυώνυμο 10ου βαθμού, το διάγραμμα μοιάζει ως εξής:

# Διάγραμμα διασποράς
data %>%
  ggplot(aes(x = Weight, y = Miles_per_Gallon)) +
  geom_point(color = "blue") +
  geom_smooth(method = "lm",
              formula = y ~ poly(x, 10),
              se = FALSE,
              color = "black") +
  expand_limits(x = 0, y = 0) +
  labs(x = "Weight",
       y = "Miles per Gallon")

Εικόνα 13.4: Διάγραμμα διασποράς με καμπύλη παλινδρόμησης OLS με πολυωνυμικούς όρους 10ου βαθμού.
# Δημιουργία μοντέλου γραμμικής παλινδρόμησης και έλεγχος των συνοπτικών αποτελεσμάτων
lm(Miles_per_Gallon ~ poly(Weight, 10), data = data) %>% summary()

Call:
lm(formula = Miles_per_Gallon ~ poly(Weight, 10), data = data)

Residuals:
    Min      1Q  Median      3Q     Max 
-4.7398 -1.3360 -0.0580  0.9806  5.6807 

Coefficients:
                   Estimate Std. Error t value Pr(>|t|)    
(Intercept)         20.0906     0.4664  43.080  < 2e-16 ***
poly(Weight, 10)1  -29.1157     2.6381 -11.037 3.35e-10 ***
poly(Weight, 10)2    8.6358     2.6381   3.274  0.00363 ** 
poly(Weight, 10)3    0.2749     2.6381   0.104  0.91800    
poly(Weight, 10)4   -1.7891     2.6381  -0.678  0.50507    
poly(Weight, 10)5    1.8797     2.6381   0.713  0.48398    
poly(Weight, 10)6   -2.8354     2.6381  -1.075  0.29467    
poly(Weight, 10)7    2.5613     2.6381   0.971  0.34266    
poly(Weight, 10)8    1.5772     2.6381   0.598  0.55634    
poly(Weight, 10)9   -5.2412     2.6381  -1.987  0.06015 .  
poly(Weight, 10)10  -2.4959     2.6381  -0.946  0.35486    
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 2.638 on 21 degrees of freedom
Multiple R-squared:  0.8702,    Adjusted R-squared:  0.8084 
F-statistic: 14.08 on 10 and 21 DF,  p-value: 3.462e-07

Παρατηρούμε, ωστόσο, ότι η καμπύλη που προκύπτει πρέπει να λυγίσει πολύ όταν το βάρος πλησιάζει το 5. Αυτό είναι αναγκαίο επειδή το μοντέλο προσπαθεί να αποτυπώσει τα σημεία που βρίσκονται σχετικά πιο μακριά από τα υπόλοιπα. Βλέπουμε επίσης ότι το R-squared αυξήθηκε σε περίπου 87% (αν και το adjusted R-squared έμεινε σχεδόν ίδιο).

Παρ’ όλα αυτά, το τελευταίο μοντέλο δεν βγάζει νόημα· δεν θα περιμέναμε ποτέ τα μίλια ανά γαλόνι να είναι κάτω από το μηδέν! Αυτό ήδη δείχνει ότι, όταν προσπαθούμε να κάνουμε την καμπύλη πολύ ευέλικτη με το OLS, το αποτέλεσμα μπορεί απλώς να γίνει αναξιόπιστο.

Από το καθολικό στο τοπικό: Εισαγωγή στο LOESS

Το OLS χρησιμοποιεί ένα ενιαίο, καθολικό μοντέλο για όλα τα σημεία δεδομένων. Αν και η προσθήκη πολυωνυμικών όρων μπορεί να αυξήσει την ευελιξία, είδαμε ότι αυτή η προσέγγιση έχει τους περιορισμούς της και μπορεί να μας δώσει μια παραμορφωμένη εικόνα.

Το LOESS (Locally Estimated Scatterplot Smoothing) προσφέρει μια εναλλακτική προσέγγιση, εκτιμώντας τοπικές παλινδρομήσεις γύρω από κάθε παρατήρηση. Αντί να προσαρμόζει μία ενιαία ευθεία, το LOESS κατασκευάζει πολλά τοπικά γραμμικά μοντέλα που μαζί σχηματίζουν μια ομαλή, μη γραμμική καμπύλη μέσα από τα δεδομένα. Η μέθοδος εισήχθη αρχικά από τον Cleveland (1979) και αργότερα διατυπώθηκε τυπικά από τους Cleveland και Devlin (1988), και σήμερα συζητείται ευρέως στη σύγχρονη βιβλιογραφία της στατιστικής μάθησης.

Η παρακάτω οπτικοποίηση δείχνει μαζί την ευθεία του OLS (μαύρη) και την αντίστοιχη καμπύλη LOESS (κόκκινη):

# Διάγραμμα διασποράς με δύο καμπύλες παλινδρόμησης
data %>%
  ggplot(aes(x = Weight,
             y = Miles_per_Gallon)) +
  geom_point(color = "blue") +
  geom_smooth(method = "lm",
              se = FALSE,
              color = "black") +
  geom_smooth(method = "loess",
              se = FALSE,
              color = "red") +
  expand_limits(x = 0, y = 0) +
  labs(x = "Weight",
       y = "Miles per Gallon")

Εικόνα 13.5: Διάγραμμα διασποράς με καμπύλη παλινδρόμησης LOESS (κόκκινη) και ευθεία παλινδρόμησης OLS (μαύρη).

Η καμπύλη LOESS είναι πιο προσαρμοστική και αποτυπώνει λεπτά μοτίβα που η καθολική ευθεία του OLS δεν μπορεί να αποτυπώσει. Αυτό επιτυγχάνεται με την προσαρμογή τοπικών παλινδρομήσεων σε όλο το εύρος των δεδομένων. Παρόλο που σε αυτό το παράδειγμα η καμπύλη μοιάζει πολύ με αυτή που πήραμε με το πολυώνυμο 2ου βαθμού, υπάρχουν ορισμένα τοπικά σημεία όπου η ευελιξία του LOESS είναι εμφανής (βλ. το παρακάτω διάγραμμα):

# Διάγραμμα διασποράς με δύο καμπύλες παλινδρόμησης
data %>%
  ggplot(aes(x = Weight, y = Miles_per_Gallon)) +
  geom_point(color = "blue") +
  geom_smooth(method = "lm",
              formula = y ~ poly(x, 2),
              se = FALSE,
              color = "black") +
  geom_smooth(method = "loess",
              se = FALSE,
              color = "red") +
  expand_limits(x = 0, y = 0) +
  labs(x = "Weight",
       y = "Miles per Gallon")

Εικόνα 13.6: Διάγραμμα διασποράς με καμπύλη παλινδρόμησης LOESS (κόκκινη) και καμπύλη παλινδρόμησης OLS (μαύρη) με πολυώνυμο 2ου βαθμού.

Ο μηχανισμός του LOESS

Το LOESS χρησιμοποιεί την προσέγγιση του κινούμενου παραθύρου (moving window): για κάθε σημείο εστίασης (focal point), ένα υποσύνολο κοντινών παρατηρήσεων—οι λεγόμενοι «γείτονες» (neighbors)—επιλέγεται. Το ποσοστό των γειτόνων που χρησιμοποιούνται καθορίζεται από την παράμετρο του εύρους ζώνης (bandwidth, που ονομάζεται επίσης span), η οποία ορίζεται ως κλάσμα του συνολικού συνόλου δεδομένων. Για παράδειγμα, με 30 παρατηρήσεις και εύρος ζώνης 0.2, χρησιμοποιούνται οι έξι πλησιέστεροι γείτονες (το 20% των δεδομένων) για την προσαρμογή μιας τοπικής παλινδρόμησης.

Σε αντίθεση με το OLS, που δίνει ίσο βάρος σε όλα τα σημεία, το LOESS δίνει μεγαλύτερο βάρος στους πιο κοντινούς γείτονες. Αυτό υλοποιείται μέσω των σταθμισμένων ελαχίστων τετραγώνων (Weighted Least Squares, WLS), όπου τα βάρη μειώνονται όσο αυξάνεται η απόσταση από το σημείο εστίασης. Κατά συνέπεια, το LOESS αναφέρεται μερικές φορές και ως LOWESS (Locally Weighted Scatterplot Smoothing)· οι δύο ονομασίες χρησιμοποιούνται συχνά εναλλακτικά.

Το LOESS και η σταθμισμένη παλινδρόμηση

Το OLS μπορεί να θεωρηθεί ειδική περίπτωση του WLS, στην οποία όλα τα σημεία δεδομένων έχουν ίσα βάρη.

Αφού προσαρμόσει τα τοπικά μοντέλα, το LOESS κάνει προβλέψεις σε κάθε σημείο δεδομένων και τις συνδέει για να σχηματίσει μια ομαλή καμπύλη. Στο παράδειγμά μας, χρησιμοποιήσαμε μόνο μία προβλεπτική μεταβλητή—δηλαδή εξετάσαμε πώς μεταβάλλεται το αποτέλεσμα (μίλια ανά γαλόνι) καθώς μεταβάλλεται ένα μόνο πράγμα (το βάρος του οχήματος). Αυτό ονομάζεται «χρήση μίας προβλεπτικής μεταβλητής». Όμως το LOESS, όπως και το OLS, δεν περιορίζεται σε μία είσοδο. Μπορεί να χρησιμοποιηθεί και με πολλές προβλεπτικές μεταβλητές ταυτόχρονα. Για παράδειγμα, θα μπορούσαμε να εξετάσουμε πώς το βάρος του οχήματος και ο κυβισμός του κινητήρα επηρεάζουν μαζί τα μίλια ανά γαλόνι. Το LOESS μπορεί επίσης να χειριστεί πιο σύνθετες περιπτώσεις, όπως όταν η επίδραση μιας μεταβλητής εξαρτάται από μια άλλη ή όταν η σχέση είναι καμπύλη και όχι ευθεία.

Υλοποίηση του LOESS στην R

Στην R, η συνάρτηση loess() (διαθέσιμη στο πακέτο stats) προσαρμόζει ένα μοντέλο LOESS. Η σύνταξή της μοιάζει με αυτή της lm(), με την προσθήκη του ορίσματος span, το οποίο ορίζει το εύρος ζώνης (bandwidth).

Προσαρμόζουμε δύο μοντέλα LOESS με εύρος ζώνης 0.2 και 0.8 και στη συνέχεια αξιολογούμε πόσο καλά προσαρμόζονται στα δεδομένα, υπολογίζοντας το pseudo R-squared, το οποίο προκύπτει από το άθροισμα τετραγώνων των καταλοίπων (RSS) και το συνολικό άθροισμα τετραγώνων (TSS). Αν και, τεχνικά, η σύγκριση του R-squared του OLS με το pseudo R-squared του LOESS δεν είναι κατάλληλη λόγω της διαφορετικής φύσης των μοντέλων—το OLS είναι ένα καθολικό γραμμικό μοντέλο και το LOESS ένα τοπικό μη γραμμικό μοντέλο—εδώ την κάνουμε για λόγους απλότητας και διαίσθησης. Η προσέγγιση αυτή δίνει ένα διαισθητικό μέτρο προσαρμογής, παρόλο που τα μοντέλα έχουν διαφορετικές υποκείμενες υποθέσεις και δομές.

# LOESS με εύρος ζώνης 20%
# Προσαρμογή του μοντέλου
loess_0.2 <- loess(Miles_per_Gallon ~ Weight,
                   data = data,
                   span = 0.2)

# Δημιουργία των προβλέψεων
loess_0.2_preds <- predict(loess_0.2, data)

# Υπολογισμός του R-squared
# Υπολογισμός του αθροίσματος τετραγώνων των καταλοίπων (RSS)
rss <- sum((data$Miles_per_Gallon - loess_0.2_preds)^2)
# Υπολογισμός του συνολικού αθροίσματος τετραγώνων (TSS)
tss <- sum((data$Miles_per_Gallon - mean(data$Miles_per_Gallon))^2)
# Υπολογισμός του pseudo R-squared
r_squared <- 1 - (rss / tss)
# Εμφάνιση του pseudo R-squared
r_squared
[1] 0.8954292
# LOESS με εύρος ζώνης 80%
# Προσαρμογή του μοντέλου
loess_0.8 <- loess(Miles_per_Gallon ~ Weight,
                   data = data,
                   span = 0.8)

# Δημιουργία των προβλέψεων
loess_0.8_preds <- predict(loess_0.8, data)

# Υπολογισμός του R-squared
# Υπολογισμός του αθροίσματος τετραγώνων των καταλοίπων (RSS)
rss <- sum((data$Miles_per_Gallon - loess_0.8_preds)^2)
# Υπολογισμός του συνολικού αθροίσματος τετραγώνων (TSS)
tss <- sum((data$Miles_per_Gallon - mean(data$Miles_per_Gallon))^2)
# Υπολογισμός του pseudo R-squared
r_squared <- 1 - (rss / tss)
# Εμφάνιση του pseudo R-squared
r_squared
[1] 0.8256546

Τα μοντέλα με μικρότερο εύρος ζώνης (0.2) προσφέρουν γενικά πιο στενή προσαρμογή στα δεδομένα, με κίνδυνο όμως υπερπροσαρμογής (overfitting). Αντίθετα, ένα μεγαλύτερο εύρος ζώνης (0.8) δίνει μια πιο ομαλή, λιγότερο σύνθετη καμπύλη. Για να τα συγκρίνουμε οπτικά:

# Δημιουργία διαγράμματος διασποράς με τις καμπύλες παλινδρόμησης LOESS και OLS
data %>%
  ggplot(aes(x = Weight, y = Miles_per_Gallon)) +
  geom_point(color = "blue") +
  geom_smooth(method = "lm",
              se = FALSE,
              color = "black") +
  geom_smooth(method = "loess",
              span = 0.2,
              se = FALSE,
              color = "red") +
  geom_smooth(method = "loess",
              span = 0.8,
              se = FALSE,
              color = "green") +
  expand_limits(x = 0, y = 0) +
  labs(x = "Weight",
       y = "Miles per Gallon")

Εικόνα 13.7: Διάγραμμα διασποράς με καμπύλες παλινδρόμησης LOESS με εύρος ζώνης 0.2 (κόκκινη) και 0.8 (πράσινη) και ευθεία παλινδρόμησης OLS (μαύρη).

Η κόκκινη καμπύλη (span = 0.2) είναι πολύ ευέλικτη και ακολουθεί στενά τα δεδομένα, ενώ η πράσινη καμπύλη (span = 0.8) είναι πιο σταθερή και αναμφισβήτητα καταλληλότερη για γενίκευση (generalization).

Γενικά, όσο μικρότερο είναι το εύρος ζώνης, τόσο πιο σύνθετο είναι το μοντέλο και τόσο πιο στενά προσαρμόζεται στα δεδομένα. Αυτή όμως δεν είναι πάντα η καλύτερη προσέγγιση, καθώς—στο άκρο—το μοντέλο θα προσάρμοζε μια καμπύλη που περνά από όλα τα διαθέσιμα σημεία δεδομένων. Ένα τέτοιο μοντέλο δεν θα είχε κανένα νόημα από την άποψη της ερμηνευσιμότητας. Πρόκειται για το ίδιο φαινόμενο που είδαμε όταν χρησιμοποιήσαμε ένα πολυώνυμο υψηλού βαθμού με το OLS. Στο παραπάνω παράδειγμά μας, βλέπουμε ότι η κόκκινη καμπύλη υποδηλώνει αρνητικές τιμές μιλίων ανά γαλόνι, κάτι που είναι αδύνατο! Η υπερπροσαρμογή είναι κάτι που πρέπει να λαμβάνουμε υπόψη και όταν χρησιμοποιούμε το LOESS.

Ο σκοπός του LOESS

Το LOESS έχει σχεδιαστεί για να αναδεικνύει μοτίβα στα δεδομένα που είναι δύσκολο να αποτυπωθούν με την παραδοσιακή γραμμική παλινδρόμηση. Όπως αναφέραμε, το OLS προσαρμόζει μία ενιαία καθολική ευθεία σε ολόκληρο το σύνολο δεδομένων, ενώ το LOESS προσαρμόζεται τοπικά, εκτιμώντας μικρές σταθμισμένες παλινδρομήσεις γύρω από κάθε παρατήρηση. Αυτή η τοπική προσέγγιση επιτρέπει στο LOESS να αποκαλύπτει μη γραμμικές σχέσεις και να δίνει ομαλές τάσεις που αντανακλούν καλύτερα τη δομή των δεδομένων.

Η μέθοδος είναι ιδιαίτερα χρήσιμη για την περιγραφική μοντελοποίηση και τη διερευνητική ανάλυση. Υπερέχει όταν ο στόχος είναι να οπτικοποιήσουμε τάσεις, να εντοπίσουμε μοτίβα ή να κάνουμε τοπικές προβλέψεις, και όχι να καταλήξουμε σε έναν ενιαίο καθολικό τύπο. Δίνοντας μεγαλύτερο βάρος στα κοντινά σημεία, το LOESS ισορροπεί μεταξύ ευελιξίας και σταθερότητας, αποκαλύπτοντας λεπτές δομές χωρίς να επηρεάζεται υπερβολικά από μακρινές παρατηρήσεις. Τα μικρότερα εύρη ζώνης δίνουν πιο σύνθετα μοντέλα, τα οποία μπορεί να προσαρμόζονται πιο στενά στα δεδομένα αλλά είναι και πιο επιρρεπή στην υπερπροσαρμογή. Η βέλτιστη επιλογή εξαρτάται από το συγκεκριμένο πλαίσιο και τους στόχους της ανάλυσης.

Στην πράξη, το LOESS βοηθά να απαντήσουμε σε ερωτήματα όπως το πώς μεταβάλλεται η μεταβλητή απόκρισης σε όλο το εύρος των προβλεπτικών μεταβλητών, αν υπάρχουν τοπικές τάσεις ή αποκλίσεις που ένα καθολικό μοντέλο μπορεί να μην εντοπίσει, και ποια μοτίβα μπορούν να οπτικοποιηθούν πριν εφαρμόσουμε πιο τυπικές τεχνικές μοντελοποίησης. Επομένως, το LOESS είναι ένα πολύτιμο εργαλείο για την κατανόηση και την οπτικοποίηση σύνθετων σχέσεων στα δεδομένα, προσφέροντας γνώσεις που καθοδηγούν την περαιτέρω ανάλυση και τη λήψη αποφάσεων.

Προεπιλεγμένη εξομάλυνση στο ggplot2

Στη geom_smooth(), η προεπιλεγμένη μέθοδος εξομάλυνσης για σύνολα δεδομένων με λιγότερες από 1,000 παρατηρήσεις είναι το LOESS και όχι η γραμμική παλινδρόμηση (lm)· για μεγαλύτερα σύνολα δεδομένων, το ggplot2 χρησιμοποιεί ένα γενικευμένο προσθετικό μοντέλο (generalized additive model, gam). Αυτό σημαίνει ότι, αν δεν ορίσουμε το method, η geom_smooth() θα προσαρμόσει από προεπιλογή μια τοπικά σταθμισμένη παλινδρόμηση, η οποία είναι πιο ευέλικτη στην αποτύπωση μη γραμμικών τάσεων στα δεδομένα.

Ανακεφαλαίωση

Σε αυτό το κεφάλαιο παρουσιάσαμε μια διαισθητική επισκόπηση του LOESS, μιας μεθόδου που επεκτείνει τη γραμμική παλινδρόμηση εφαρμόζοντας τοπικά σταθμισμένα ελάχιστα τετράγωνα γύρω από κάθε σημείο δεδομένων. Το LOESS είναι ιδιαίτερα αποτελεσματικό για την αποκάλυψη μη γραμμικών σχέσεων και τη δημιουργία ομαλών οπτικοποιήσεων δεδομένων.

Συζητήσαμε τον μηχανισμό του LOESS, μεταξύ άλλων την προσέγγιση του κινούμενου παραθύρου και τη χρήση των σταθμισμένων ελαχίστων τετραγώνων για να δοθεί μεγαλύτερη βαρύτητα στα κοντινά σημεία. Αναδείξαμε επίσης τη βασική υπερπαράμετρο (hyperparameter), το εύρος ζώνης (ή span), η οποία ελέγχει την ισορροπία μεταξύ ευελιξίας και ομαλότητας. Τα μικρότερα εύρη ζώνης δίνουν πιο ευέλικτες καμπύλες που μπορεί να υπερπροσαρμόζονται, ενώ τα μεγαλύτερα δίνουν πιο ομαλές τάσεις.

Η πρακτική υλοποίηση στην R παρουσιάστηκε με τη συνάρτηση loess() και με τη geom_smooth() του ggplot2, δείχνοντας πώς διαφορετικά εύρη ζώνης επηρεάζουν την προσαρμοσμένη καμπύλη. Τέλος, τονίσαμε τον σκοπό του LOESS: είναι ένα ισχυρό εργαλείο για περιγραφική μοντελοποίηση, διερευνητική ανάλυση και οπτικοποίηση σύνθετων σχέσεων, αν και δεν είναι ιδανικό όταν απαιτείται μία ενιαία αναλυτική εξίσωση.